OneTrans-V2: Unifying Retrieval, Pre-rank, and Fine-rank with One Transformer in Industrial Recommender
OneTrans-V2：用单一 Transformer 统一工业推荐中的召回、粗排与精排
🧭 工业推荐系统级联统一 · 共享 Transformer ★ 深度解读
ByteDance Global E-Commerce Recommendation Foundation Team
用一个 Transformer 统一召回/粗排/精排级联，共享用户上下文，结合 DCGR 与 SNT，GMV 提升 9.74%，吞吐 3.2×
📌 工作参考价值（4 点）
- 统一多阶段用户表征：在电商/广告推荐中，可将召回、粗排、精排的用户行为序列编码合并为一个共享 Transformer，通过 stage visibility mask 隔离 stage-specific tokens，行为序列只需编码一次，显著减少重复计算，提升吞吐。
- 生成式检索的多目标在线调控：DCGR 的决策前缀 + 业务偏移量（βφ(z)）可以在不重新训练的情况下动态调节生成式推荐的目标倾向（如提升高客单价商品曝光），适合多业务目标共用一个生成模型。
- 稀疏 MoE + μP 稳定扩展：采用 DeepSeekMoE 式 fine-grained experts + shared expert，配 sigmoid router，结合 μP/Depth-μP 参数化，可在保持激活计算近似不变的前提下扩大模型容量，适合大规模推荐模型。
- SNT 训练效率优化：按用户窗口组织训练样本，一次编码用户行为序列，该用户的所有曝光和所有 stage 复用该编码，训练加速 4.4×，适合行为序列长、曝光多的电商推荐场景。